This work explores an efficient approach to establish a foundational video-text model for tasks including open-vocabulary video classification, text-to-video retrieval, video captioning and video question-answering. We present VideoCoCa that reuses a pretrained image-text contrastive captioner (CoCa) model and adapt it to video-text tasks with minimal extra training. While previous works adapt image-text models with various cross-frame fusion modules (for example, cross-frame attention layer or perceiver resampler) and finetune the modified architecture on video-text data, we surprisingly find that the generative attentional pooling and contrastive attentional pooling layers in the image-text CoCa design are instantly adaptable to ``flattened frame embeddings'', yielding a strong zero-shot transfer baseline for many video-text tasks. Specifically, the frozen image encoder of a pretrained image-text CoCa takes each video frame as inputs and generates \(N\) token embeddings per frame for totally \(T\) video frames. We flatten \(N \times T\) token embeddings as a long sequence of frozen video representation and apply CoCa's generative attentional pooling and contrastive attentional pooling on top. All model weights including pooling layers are directly loaded from an image-text CoCa pretrained model. Without any video or video-text data, VideoCoCa's zero-shot transfer baseline already achieves state-of-the-art results on zero-shot video classification on Kinetics 400/600/700, UCF101, HMDB51, and Charades, as well as zero-shot text-to-video retrieval on MSR-VTT and ActivityNet Captions. We also explore lightweight finetuning on top of VideoCoCa, and achieve strong results on video question-answering (iVQA, MSRVTT-QA, MSVD-QA) and video captioning (MSR-VTT, ActivityNet, Youcook2). Our approach establishes a simple and effective video-text baseline for future research.

联合学习是一种来自分散数据集的培训模型的新兴技术。在许多应用程序中，参与联合学习系统的数据所有者不仅拥有数据，还拥有一组域知识。这些知识包括人类的知识和工艺，对联邦学习任务非常有帮助。在这项工作中，我们提出了一个联合学习框架，该框架允许注入参与者的领域知识，其中关键思想是通过本地知识来完善全球模型。我们认为的方案是由真正的行业级应用激励的，我们证明了我们采用该应用的有效性。

机器学习的普及增加了不公平模型的风险，该模型被部署在高级应用程序中，例如司法系统，药物/疫苗接种设计和医学诊断。尽管有有效的方法可以从头开始训练公平模型，但如何自动揭示和解释受过训练的模型的不公平仍然是一项艰巨的任务。以可解释的方式揭示机器学习模型的不公平是朝着公平和值得信赖的AI迈出的关键一步。在本文中，我们系统地解决了通过挖掘可解释的证据（Rumie）来揭示不公平模型的新任务。关键思想是以一组模型区分的数据实例的形式找到可靠的证据。为了使证据可以解释，我们还找到了一组人为理解的关键属性和决策规则，这些属性和决策规则表征了歧视的数据实例，并将其与其他非歧视数据区分开来。正如在许多现实世界数据集上进行的广泛实验所证明的那样，我们的方法找到了高度可解释和可靠的证据，可以有效揭示受过训练的模型的不公平性。此外，它比所有基线方法更可扩展。

我们介绍了自回归文本到图像（Parti）模型的途径，该模型生成高保真的影像图像并支持涉及复杂组成和世界知识的内容丰富的合成。 Parti将文本对图像生成视为类似于机器翻译的序列到序列建模问题，图像令牌的序列是目标输出，而不是其他语言的文本令牌。这种策略自然可以利用大型语言模型的先前工作，通过扩展数据和模型尺寸，能力和性能的持续进展。我们的方法很简单：首先，Parti使用基于变压器的图像令牌VIT-VQGAN将图像编码为离散令牌的序列。其次，我们通过将编码器二次变压器模型缩放到20B参数来实现一致的质量改进，其新的最新零弹药FID得分为7.23，而MS-Coco的FIDED得分为3.22。我们对本地化叙述以及党的详细分析（P2），这是1600多个英语提示的新的整体基准，证明了Parti在各种类别和难度方面的有效性。我们还探索并突出了我们的模型的局限性，以定义和体现关注重点领域以进一步改进。有关高分辨率图像，请参见https://parti.research.google/。

语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。

联合学习是一种流行的技术，用于在不共享数据的情况下培训分布式数据源上的机器学习模型。基于垂直的联合学习或基于功能的联合学习适用于不同数据源共享相同的样本ID空间但在特征空间中不同的情况。为了确保数据所有者的长期参与，客观地评估每个数据源的贡献并相应地汇总贡献至关重要。福利价值（SV）是源自合作博弈论的可怕公平贡献估值指标。然而，计算SV需要在数据源的每个子集中广泛地重新培训模型，这导致联合学习中的高通信成本。我们提出了一种基于SV的垂直联合福利价值（VerfedSv）的贡献估值度量。我们表明Verfedsv不仅满足了公平性的许多理想的属性，而且还有效地计算，并且可以适用于同步和异步垂直联合学习算法。理论分析和广泛的实验结果均验证了Verfedsv的公平性，效率和适应性。

近年来，渠道注意机制被广泛研究了改善深卷积神经网络（CNNS）性能的巨大潜力。然而，在大多数现有方法中，只有相邻卷积层的输出被馈送到注意层以计算信道权重。忽略其他卷积图层的信息。通过这些观察，提出了一种简单的策略，名为PRINGSING NET（BA-NET），以获得更好的渠道注意机制。这种设计的主要思想是通过跳过通道权重生成的跳过连接来弥合先前卷积层的输出。 BA-NET不仅可以提供更丰富的功能，可以在馈电时计算频道重量，还可以在反向轮胎时乘以参数更新的路径。综合评价表明，与准确性和速度的现有方法相比，拟议的方法实现了最先进的性能。桥梁关注提供了一种新的神经网络架构设计的透视，并显示出改善现有通道注意力机制的性能的巨大潜力。该代码可用于\ url {https://github.com/zhaoy376/表弟主持 - 机制

联合学习通过融合来自本地节点的协作模型来从分散的数据中学习。然而，FedAVG平均的传统基于坐标的模型忽略了每个参数编码的随机信息，并且可能遭受结构特征未对准。在这项工作中，我们提出了Fed2，一个功能对齐的联合学习框架来解决这个问题，通过在协作模型上建立一个坚定的结构特征对齐来解决这个问题。 FED2由两种主要设计组成：首先，我们设计了一个面向功能的模型结构适应方法，以确保不同神经网络结构中的显式功能分配。将结构适应应用于协作模型，可以在非常早期的训练阶段初始化具有类似特征信息的匹配结构。在联合学习过程中，我们提出了一个特征配对的平均方案，以保证对齐的特征分布，并在IID或非IID方案下维护没有特征融合冲突。最终，FED2可以在广泛的同源和异构环境下有效地提高联合学习收敛性能，提供出色的收敛速度，准确性和计算/通信效率。

Pretraining is a dominant paradigm in computer vision. Generally, supervised ImageNet pretraining is commonly used to initialize the backbones of person re-identification (Re-ID) models. However, recent works show a surprising result that CNN-based pretraining on ImageNet has limited impacts on Re-ID system due to the large domain gap between ImageNet and person Re-ID data. To seek an alternative to traditional pretraining, here we investigate semantic-based pretraining as another method to utilize additional textual data against ImageNet pretraining. Specifically, we manually construct a diversified FineGPR-C caption dataset for the first time on person Re-ID events. Based on it, a pure semantic-based pretraining approach named VTBR is proposed to adopt dense captions to learn visual representations with fewer images. We train convolutional neural networks from scratch on the captions of FineGPR-C dataset, and then transfer them to downstream Re-ID tasks. Comprehensive experiments conducted on benchmark datasets show that our VTBR can achieve competitive performance compared with ImageNet pretraining - despite using up to 1.4x fewer images, revealing its potential in Re-ID pretraining.

联合学习是一种新兴的分散机器学习方案，允许多个数据所有者在确保数据隐私的同时协同工作。联邦学习的成功在很大程度上取决于数据所有者的参与。为了维持和鼓励数据业主的参与，公正地评估数据所有者提供的数据质量并相应地奖励它们是至关重要的。联邦福利价值，最近由Wang等人提出。 [联合学习，2020]是联合学习框架下的数据值的措施，其满足数据估值的许多所需属性。然而，联邦福利价值设计中潜在的不公平仍然存在因素，因为具有相同本地数据的两个数据所有者可能无法接收相同的评估。我们提出了一种新的措施，称为已联邦福利价值，以提高联邦福利价值的公平性。该设计取决于完成由数据所有者的不同子集的所有可能贡献组成的矩阵。它在温和条件下显示，该矩阵通过利用优化而利用概念和工具而大致低等级。理论分析和实证评估都验证了拟议的措施在许多情况下改善公平性。